-
Генерация уместных вопросов с помощью языковой модели huggingface GPT-2
Второй эксперимент с теми же вводными, как описаны в предыдущем посте. Теперь используем реализацию языковой модели GPT-2 в pytorch библиотеке transformers. Для ее использования нужно только склонировать реп и перейти в подкаталог examples с которыми скриптами.
( Read more... ) -
Тренировка BERT на русском корпусе: непривычно видеть такую кривую обучения
В порядке эксперимента обучаю упрощенную модель BERT (урезал число heads и т.д.) на свое русском корпусе.
То, что обучается медленно - факт. Но дело не в этом. Вот как выглядят кривые loss (на обучающей выборке) и val_loss (на валидационной):
( Read more... ) -
Три варианта рекуррентно-сверточных сетей в задаче определения длины ответа
(предыдущий пост с описанием моделей чат-бота тут: https://kelijah.livejournal.com/232313.html)
Код для тренировки вспомогательной модели, которая определяет число слов ответа для заданной предпосылки и вопроса выложен тут https://github.com/Koziev/chatbot/blob/master/PyModels/nn_answer_length.py.
( Read more... ) -
Движок логического вывода на базе DNN моделей ("умный" chatbot)
Далее - результаты работы тестовой версии chatbot'а на базе нейросетевого движка логического вывода:
( Read more... ) -
Представления слов: исправления, улучшения, сравнение Python / Java / C++ реализаций нейросетей
1. В Keras-реализации решения нашел data leak из валидационных данных в тренировочный набор (как обычно по причине копипасты фрагментов из своих же исходников). После исправления стал получать намного более консистентные результаты: точность на одинаковых данных для сопоставимых архитектур нейросетей в Keras+Theano и в Tensorflow решениях стала ( Read more... ) -
Сверточная архитектура нейросети для построения Language Model
Для эксперимента с оценкой вариантов представления слов добавил сверточную архитектуру - см. файл wr_keras.py и константу NET_ARCH.
С поправкой на большую variance, характерную для сверточного варианта в сравнении с feed forward MLP, эта сетка бьет MLP с ощутимым запасом. Например, для 4-грамм имеем:
( Read more... ) -
Текущие результаты для keras/theano MLP модели в эксперименте с word representations
Репозиторий эксперимента: https://github.com/Koziev/WordRepresentations
Сделал условный grid search для основных гиперпараметров. Для 2-грамм и 3-грамм эксперимент закончен, для 4-грамм продолжается:
( Read more... ) -
Решение бинарной классификационной задачи на C++ с помощью Apache.SINGA, tiny-dnn и OpenNN
1. Выложил в репозиторий эксперимента cеточные модели для бинарной классификации на C++ в Apache.SINGA, OpenNN и tiny-dnn:
TinyDNN_Model.cpp - решатель на базе MLP, реализованного средствами библиотеки tiny-dnn (C++, проект для VS 2015)
alexnet.cc - решатель на базе нейросетки, реализованной средствами Apache.SINGA (C++, проект для VS 2015)
main. ( Read more... ) -
Сравнение разных способов представления слов для NLP задачи построения языковой модели
В слаке ODS недавно проскочила тема про варианты представления категориальных переменных для решающих деревьев. В частности, приводилась ссылка https://medium.com/data-design/visiting-categorical-features-and-encoding-in-decision-trees-53400fa65931. А я как раз хотел еще раз поднять тему с использованием Brown Clustering представлений слов для NLP ( Read more... ) -
Нейросетевые модели для определения перефразировок вопросов (4)
[начало тут http://kelijah.livejournal.com/212124.html, скрипты моделей тут https://github.com/Koziev/QuoraQuestionPairs]
Удвоение датасета400 тысяч пар вопросов в обучающей выборке - это неплохо, но нейросетки очень любят много данных. Чем больше свободных параметров у модели, тем больше требуется обучающих примеров для их настройки. Поэтому ( Read more... )